Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.
translated by 谷歌翻译
非平行的多域语音转换方法（例如Stargan-VC）在许多情况下已被广泛应用。但是，这些模型的培训通常由于其复杂的对抗网络体系结构而构成挑战。为了解决这个问题，在这项工作中，我们利用最先进的对比学习技术，并将有效的暹罗网络结构纳入Stargan歧视者。我们的方法称为Simsiam-Stargan-VC，它提高了训练稳定性，并有效地防止了训练过程中的歧视者过度拟合问题。我们对语音转换挑战（VCC 2018）数据集进行了实验，并进行了用户研究，以验证我们的框架性能。我们的实验结果表明，Simsiam-Stargan-VC在客观和主观指标方面显着优于现有的Stargan-VC方法。
translated by 谷歌翻译
供应链平台（SCP）为下游行业提供了许多原材料。与传统的电子商务平台相比，由于用户兴趣有限，SCP中的数据更为稀疏。为了解决数据稀疏问题，可以应用跨域建议（CDR），从而通过源域信息提高目标域的建议性能。但是，将CDR应用于SCP，直接忽略了SCP中商品的层次结构，从而降低了建议性能。为了利用此功能，在本文中，我们以餐饮平台为例，并提出了图形跨域推荐模型GRES。该模型首先构造了树状图，以表示菜肴和成分不同节点的层次结构，然后应用我们提出的Tree2Vec方法将GCN和BERT模型组合到嵌入图中以嵌入图表以获取建议。商业数据集上的实验结果表明，GRES在供应链平台的跨域建议中明显优于最先进的方法。
translated by 谷歌翻译
最近，基于得分的扩散模型在MRI重建中表现出令人满意的性能。这些方法中的大多数都需要大量完全采样的MRI数据作为培训集，有时在实践中很难获得。本文提出了用于MRI重建的完全采样的基于无DATA的分数扩散模型，该模型以不足的采样数据以自我监督的方式学习了完全采样的MR图像。具体而言，我们首先通过贝叶斯深度学习从未采样的数据中推断出完全采样的MR图像分布，然后通过训练分数函数来扰动数据分布并近似其概率密度梯度。利用学到的分数函数为先验，我们可以通过执行条件的Langevin Markov链蒙特卡洛（MCMC）采样来重建MR图像。公共数据集的实验表明，所提出的方法优于现有的自我监督的MRI重建方法，并与常规（完全采样的数据训练）基于得分的扩散方法实现可比性的性能。
translated by 谷歌翻译
磁共振成像是临床诊断的重要工具。但是，它遭受了漫长的收购时间。深度学习的利用，尤其是深层生成模型，在磁共振成像中提供了积极的加速和更好的重建。然而，学习数据分布作为先验知识并从有限数据中重建图像仍然具有挑战性。在这项工作中，我们提出了一种新颖的Hankel-K空间生成模型（HKGM），该模型可以从一个k-空间数据的训练集中生成样品。在先前的学习阶段，我们首先从k空间数据构建一个大的Hankel矩阵，然后从大型Hankel矩阵中提取多个结构化的K空间贴片，以捕获不同斑块之间的内部分布。从Hankel矩阵中提取斑块使生成模型可以从冗余和低级别的数据空间中学习。在迭代重建阶段，可以观察到所需的解决方案遵守学识渊博的先验知识。通过将其作为生成模型的输入来更新中间重建解决方案。然后，通过对测量数据对其Hankel矩阵和数据一致性组合施加低排名的惩罚来替代地进行操作。实验结果证实，单个K空间数据中斑块的内部统计数据具有足够的信息来学习强大的生成模型并提供最新的重建。
translated by 谷歌翻译
最近，未经训练的神经网络（UNNS）显示了在随机采样轨迹上对MR图像重建的令人满意的性能，而无需使用其他全面采样训练数据。但是，现有的基于UNN的方法并未完全使用MR图像物理先验，导致某些常见情况（例如部分傅立叶，常规采样等）的性能差，并且缺乏重建准确性的理论保证。为了弥合这一差距，我们使用特殊设计的UNN提出了一种保障的K空间插值方法，该方法使用特殊设计的UNN，该方法由MR图像的三个物理先验（或K空间数据）驱动，包括稀疏，线圈灵敏度平稳性和相位平滑度。我们还证明，所提出的方法保证了插值K空间数据准确性的紧密界限。最后，消融实验表明，所提出的方法比现有传统方法更准确地表征了MR图像的物理先验。此外，在一系列常用的采样轨迹下，实验还表明，所提出的方法始终优于传统的平行成像方法和现有的UNN，甚至超过了最先进的监督训练的K空间深度学习方法案例。
translated by 谷歌翻译
非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。
translated by 谷歌翻译
课堂分配在学习深分类器中起着重要的作用。当测试集中每个类的比例与训练集不同时，分类网的性能通常会降低。由于疾病的患病率在位置和时间上有所不同，因此这种标签分布转移问题在医学诊断中很常见。在本文中，我们提出了第一种解决医疗图像分类标签转移的方法，该方法有效地适应了从单个培训标签分布中学到的模型，以使其成为任意未知的测试标签分布。我们的方法创新了分配校准以学习多个代表性分类器，这些分类器能够处理不同的一级分布。当给出测试图像时，不同的分类器通过一致性驱动的测试时间适应动态聚合，以处理未知的测试标签分布。我们在两个重要的医学图像分类任务上验证方法，包括肝纤维化分期和COVID-19的严重性预测。我们的实验清楚地表明了标签移位下的模型性能下降。通过我们的方法，模型性能可显着改善所有测试数据集，这些数据集具有不同的标签变化，用于两项医学图像诊断任务。
translated by 谷歌翻译
尽管深度神经网络（DNNS）在音频分类任务中取得了巨大的成功，但它们的不确定性校准仍未得到探索。当它确定其预测时，应进行良好的模型应准确，并表明何时可能不准确。在这项工作中，我们研究了深度音频分类器的不确定性校准。特别是，我们从经验上研究了流行校准方法的性能：（i）蒙特卡洛辍学方法，（ii）集合，（iii）局灶性损失和（iv）光谱范围差异高斯工艺（SNGP），在音频分类数据集上。为此，我们评估了（I-IV），以应对环境声音和音乐流派分类的任务。结果表明，未校准的深度音频分类器可能过于自信，并且SNGP在本文的两个数据集中表现最好，并且非常有效。
translated by 谷歌翻译
随着代表性学习成为一种在实践中降低增强学习（RL）样本复杂性（RL）的强大技术，对其优势的理论理解仍然是有限的。在本文中，我们从理论上表征了在低级马尔可夫决策过程（MDP）模型下表示学习的好处。我们首先研究多任务低级RL（作为上游培训），所有任务都共享一个共同的表示，并提出了一种称为加油的新型多任务奖励算法。加油站同时了解每个任务的过渡内核和近乎最佳的策略，并为下游任务输出良好的代表。我们的结果表明，只要任务总数高于一定的阈值，多任务表示学习比单独学习的样本效率要高。然后，我们研究在线和离线设置中的下游RL，在该设置中，代理商分配了一个新任务，共享与上游任务相同的表示形式。对于在线和离线设置，我们都会开发出样本效率高的算法，并表明它找到了一个近乎最佳的策略，其次要差距在上游中学习的估计误差和一个消失的术语作为数字作为数字的估计误差的范围。下游样品的大量变大。我们在线和离线RL的下游结果进一步捕获了从上游采用学习的表示形式的好处，而不是直接学习低级模型的表示。据我们所知，这是第一个理论研究，它表征了代表性学习在基于探索的无奖励多任务RL中对上游和下游任务的好处。
translated by 谷歌翻译